Cao Ngao Tào xuất thân hào tộc, từ nhỏ đã có tráng khí, tính cách can đảm mạnh mẽ; sau khi trưởng thành, lại càng không câu nệ tiểu tiết, sức lực hơn người. Bắc Tề thư chép ông có thân thể khôi ngô hùng vĩ, mày rồng cổ báo.

Cha của ông là Cao Dực, tìm cho ông một thầy giáo nghiêm khắc, yêu cầu thầy giáo đừng ngại dùng roi vọt, nhưng ông bỏ trốn, còn nói rằng: "Nam nhi nên hoành hành thiên hạ, tự giành lấy phú quý, ai có thể ngồi xếp bằng đọc sách làm ông đồ già chứ?" Cao Dực thường nói với người khác rằng: "Thằng nhỏ này nếu không khiến cho nhà ta bị diệt tộc, thì nhất định sẽ làm cho nhà ta hưng thịnh." Vì tính cách của ông ngang ngược ngổ ngáo (chữ Hán: 昂藏敖曹, ngang tàng ngao tào) nên mới đặt tên cho ông là Ngang, tự là Ngao Tào.

Sau này, Cao Ngao Tào cùng anh cả là Cao Cán thường đi cướp bóc khắp nơi, quan lại của châu huyện đều không dám truy cứu. Hai người tiêu sạch cả gia sản, tụ tập khách khứa có võ nghệ, người trong làng e ngại, không dám trái ý bọn họ. Cao Cán cầu hôn con gái của người Bác Lăng là Thôi Thánh Niệm, nhưng bị cự tuyệt, hai người bèn cướp lấy cô gái ấy đem về. Đến bên ngoài thôn, Cao Ngao Tào nói với Cao Cán: "Sao không làm lễ ở đây?" Thế là Cao Cán ngủ với cô gái ấy ở đó rồi mới đưa về nhà.

Vì hai người thường đi cướp bóc khắp nơi mà cha của họ bị liên lụy, nhiều lần bị giam vào ngục, chỉ nhờ gặp dịp đại xá mới được ra ngoài. Cao Dực có bốn con trai là Cán, Thận, Ngao Tào và Quý Thức, nên thường nói với mọi người: "Tôi có 4 đứa con trai đều không nên người, không biết sau khi tôi chết có ai đắp cho tôi được một thuổng đất nào không?" Sau khi Cao Dực mất, Cao Ngao Tào làm một phần mộ lớn, rồi nói: "Ông già ơi, ông khi còn sống sợ không được một thuổng đất nào, nay bị chôn dưới đất, còn muốn làm người chăng?"